5.1 方差和偏差

• 泛化误差由三部分组成
  • 方差
  • 偏差
  • 数据噪声
    
• 当模型越来越复杂，对于验证集来说，偏差是越来越小的，而方差是越来越大的，因此合并起来的泛化误差就是先变小后变大
• 解决方案
  • 减少偏差bias：使用更复杂模型——增加隐藏层层数和隐藏层的输出大小5.3 Boosting
  • 减少方差variance：使用简单模型或用正则化方法限制学习范围5.2 Bagging
  • 减少数据噪声：数据清理2.2 数据清洗

References

5.1 方差和偏差【斯坦福21秋季：实用机器学习中文版】_哔哩哔哩_bilibili